查看原文
其他

AI 绘画新时代:ChatGPT + DALL-E 3

lencx 浮之静 2023-11-07

ChatGPT 绘画能力的出现对 MidJourney 来说将是巨大的冲击,这里我想引用一下 @DrJimFan[1] 的观点:

  • 多轮对话与人类反馈:DALL-E 3 通过多轮对话作为用户界面,能够获取详细的人类反馈。用户以自由表达的语言解释生成图像的问题,为模型的优化提供精细注释。这些反馈对模型的多模态学习和视觉能力的提升具有正面效用。

  • 算法效率:尽管 MidJourney 拥有更多可能的数据集,但其质量相较于 OpenAI 仍显不足。OpenAI 通过使用如 Consistency Model(arXiv:2303.01469) 之类的新算法,展现出了更高效的数据利用和模型改进能力。

  • 生态系统集成:DALLE 3 与 ChatGPT 的集成极大地增强了功能和易用性。例如,它可以轻松添加代码解释器和浏览器等模块。同时,通过调用 API 或插件实现图像滤镜的应用和参考图像的获取,增强了其多功能性。

  • 现有用户基础:ChatGPT 享有庞大的用户基础(1 亿用户),相较于 MidJourney(1600 万用户)分发优势显著。用户界面的便捷性也在推广中扮演着重要角色,例如,将平台从 Discord(一个不那么友好的界面)迁移出去。

📌 一致性模型

Consistency Model:https://arxiv.org/abs/2303.01469

扩散模型在图像、音频和视频生成的领域中实现了显著的进步,但这一模型依赖于一个缓慢的迭代抽样过程。为了突破这一局限,我们提出了一种新的模型家族——一致性模型,其能够通过直接将噪声映射到数据上来创建高品质样本。设计上,它们支持快速的一步生成,同时允许通过多步抽样在计算和样本质量之间做权衡。此外,它们还支持诸如图像修补、上色和超分辨等零样本数据编辑,而这些并不要求在这些任务上进行明确的训练。一致性模型既可以通过提炼预训练的扩散模型来训练,也可以作为一个完全独立的生成模型。通过一系列的实验,我们展示了在一步生成和少步抽样中,它们超过了现有的扩散模型的提炼技术,达到了在 CIFAR-10 上新的最先进的 FID 3.55 和在 ImageNet 64x64 上的 6.20。当进行单独训练时,一致性模型形成了一个新的生成模型家族,能在如 CIFAR-10、ImageNet 64x64 以及 LSUN 256x256 等标准基准上超越现有的一步、非对抗生成模型。

创作

整个创作过程没有一句多余解释,它就会生成你想要的结果(自然语言的魅力所在,让你彻底忘掉什么所谓的 AI 绘画提示词)。不过中文描述并不万能的,在最后部分,我一直使用大颗粒像素来描述画风,它并未给出预期结果,当使用 pixel art 之后,就达到了预期。一定要看到最后,它最大的惊喜是可以创作有故事剧情的漫画。

📌 Prompt

请绘制一个封面,尺寸 1200x600:星空,大海,梵高风格

📌 Prompt

请你继续尝试这种风格,绘制一些美丽的自然风光,绚烂多彩

📌 Prompt

我想要梵高风格,请讲中文

📌 Prompt

如果让你自己选择一个风格,你想画什么,尽情发挥你的想象力吧

📌 Prompt

如果让你用不同的画风来描述:我,过去,现在,未来。你会如何表现它,请提供丰富的细节。

📌 Prompt

这些都太普通了,你可以来点超脱人类固有认知的风格吗,我想看到它们,你会极其细致的为我描绘它们的细节。

📌 Prompt

我想要像素,块状油墨,水墨,素描风格的自然风光,你需要在一幅画中将它们完美融合

📌 Prompt

矢量插画,一个人坐在电脑前正在忙碌的工作

📌 Prompt

改为像素画吧

📌 Prompt

我要大颗粒像素,背景要有渐变磨砂质感

📌 Prompt

大颗粒不规则的像素,像素之间要存在间隙,重新调整

📌 Prompt

pixel art

📌 Prompt

pixel art,一个人坐在电脑前正在忙碌的工作,背景要有渐变磨砂质感

漫画

故事一

  • 漫画第一格:在一个宁静的小村庄,夜晚的月光照亮了整个村子。一个年轻的男子正在村口的大树下阅读一本古老的书籍。

  • 漫画第二格:突然,书中飞出了一个闪闪发光的小仙子。她微笑着对年轻人说:“你释放了我,现在我将授予你一个神奇的能力。”

  • 漫画第三格:年轻男子惊讶地看着自己的手,他的手指尖发出了金色的光芒。周围的树木和花朵都开始旋转和舞动,仿佛被魔法点亮。

  • 漫画第四格:随后,整个村庄的人们都聚集在村口,看着这神奇的场景。年轻男子微笑着,与仙子手牵手,带领村民们一起跳起了欢快的舞蹈。

故事二

  • 黑白漫画第一格:一个侦探站在昏暗的街道上,手里拿着放大镜,正在查看一些线索。

  • 黑白漫画第二格:侦探进入一个旧书店,与书店老板交谈,试图找到某本书的线索。

  • 黑白漫画第三格:在书店的地下室,侦探发现了一个隐藏的房间,里面放着一些古老的文物和日记。

  • 黑白漫画第四格:侦探坐在办公桌前,翻开日记,突然意识到一个重要的真相,他的脸上露出惊讶的表情。

References

[1]

@DrJimFan: https://twitter.com/DrJimFan

继续滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存